人工智能(AI)系统在接下来的几十年中有很大的希望可以改善医疗保健。具体而言,利用多个数据源和输入模式的AI系统有望成为一种可行的方法,可以在广泛的应用程序中提供更准确的结果和可部署的管道。在这项工作中,我们提出并评估一个统一的医学中的整体AI(HAIM)框架,以促进利用多模式输入的AI系统的生成和测试。我们的方法使用可通用的数据预处理和机器学习建模阶段,可以很容易地适应医疗保健环境中的研究和部署。我们通过训练和表征基于MIMIC-IV-MM的14,324个独立模型来评估我们的HAIM框架,该模型是一种多模式临床数据库(n = 34,537个样本),其中包含7,279个独特的住院和6,485名患者,涵盖了4个数据模态的所有可能输入组合(即,所有可能的输入组合)表格,时间序列,文本和图像),11个独特的数据源和12个预测任务。我们表明,该框架可以始终如一地生产出在各种医疗保健示范中超过相似的单源方法的模型(乘以6-33%),包括10种不同的胸部病理学诊断,以及休息时间和48小时的死亡率预测。我们还使用Shapley值量化了每种模式和数据源的贡献,这证明了数据类型重要性的异质性以及在不同医疗保健相关的任务中多模式输入的必要性。我们的整体医学AI(HAIM)框架的可推广性能和灵活性可以为未来的临床和运营医疗环境中的多模式预测系统提供有希望的途径。
translated by 谷歌翻译